Transformer架构层层堆叠，包含十几亿甚至几十亿个参数，这些层到底是如何工作的？当一个新奇的比喻——「画家流水线」，被用于类比并理解Transformer架构的中间层，情况突然变得明朗起来，并引出了一些有趣的发现。
来自主题: AI技术研报
9199 点击 2024-08-08 14:37
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
Transformer架构层层堆叠，包含十几亿甚至几十亿个参数，这些层到底是如何工作的？当一个新奇的比喻——「画家流水线」，被用于类比并理解Transformer架构的中间层，情况突然变得明朗起来，并引出了一些有趣的发现。
美东时间8月6日，全球最备受瞩目的人形机器人公司「Figure AI」，炸场发布了第二代人形机器人Figure 02。
智谱 AI Z 计划企业路演日：Z DemoDay（2024·Summer）于 8 月 4 日在智谱 AI 公司举办。现场共有 25 家 Z 计划企业参加路演，近 300 位投资人参会（空间有限，策划预期 180 位）。 这也是 Z 计划自发布以来，举办的首届大规模路演活动。现场路演项目覆盖大模型赛道各关键生态位，涉及算力优化、数据治理等基础设施，以及法律、金融、生物医药等多个垂直行业应用场景。
Llama 3.1刚发布不久，Llama 4已完全投入训练中。 这几天，小扎在二季度财报会上称，Meta将用Llama 3的十倍计算量，训练下一代多模态Llama 4，预计在2025年发布。
AI创业的风刮到00后了
『RAG 高效应用指南』系列将就如何提高 RAG 系统性能进行深入探讨，提供一系列具体的方法和建议。同时读者也需要记住，提高 RAG 系统性能是一个持续的过程，需要不断地评估、优化和迭代。
AI 图像和视频生成领域又加入了一个颇有实力的玩家。
马斯克的 xAI 可能会买下 Character AI（信息来源权威爆料媒体 The Information，马斯克随后否认），前者估值 240 亿美元，刚完成 60 亿美元的 B 轮融资，全球仅次于 OpenAI 的超级 AI 独角兽。
在 AI Pin、Rabbit R1 首发失利之后，AI 硬件又有新玩家了。 这次的硬件主打陪伴的情绪价值，帮用户对抗孤独。
随着海内外底层模型能力差距的不断缩小，未来AI应用领域也极有概率由大批中国企业组成头部阵营。